Imagina un modelo de lenguaje grande (LLM) como un brillante pero especialista general. Para convertir a este especialista general en un profesional especializado, como un radiólogo clínico o un abogado contratista, navegamos por el espectro de adaptación de modelos. Este espectro define cómo avanzamos desde la estimulación por cero intentos hasta modificaciones profundas en redes neuronales, equilibrando las limitaciones del hardware con la demanda de resultados de vanguardia (SOTA) resultados.

Modos clave de adaptación

• Aprendizaje in-context (ICL): El modelo permanece "congelado". Aprende a estimar $P(y|x)$ observando ejemplos dentro del propio prompt. Aunque es rápido, a menudo sufre una alta variabilidad y alucinaciones.
• Alineación y estabilidad: Para alcanzar una fiabilidad de nivel de producción, debemos avanzar hacia la derecha en el espectro. El ajuste fino proporciona una mejor alineación con el juicio humano penalizando explícitamente las desviaciones respecto a los patrones de verdad.
• El objetivo de SOTA: Alcanzar un rendimiento de primer nivel requiere navegar entre compromisos. El ajuste completo ofrece el máximo control, pero conlleva el riesgo de "olvido catastrófico", mientras que PEFT (ajuste fino eficiente en parámetros) proporciona un punto medio amigable con el hardware.